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Интеграция компонентов интерфейса 
пользователя и системы управления 
персонального мобильного робота: 
пример реализации 


Рассмотрены пути повышения эффективности человеко-машинного взаимодействия при интеграции 
структурных компонентов интеллектуальной системы управления мобильного робота и интерфейса 
пользователя. Приведен пример реализации комплексного программного обеспечения системы 
управления робота, способного автономно выполнять сформулированные пользователем задания. 


Введение 


В настоящее время в области робототехники наблюдается активизация разработок 
изделий так называемого класса персональных помощников. К ним относятся роботы 
различного бытового назначения (пылесосы, газонокосилки и др.), разнообразные помощ- 
ники пожилым людям и инвалидам, роботы для интеллектуального досуга и пр. Такие 
изделия по своему функциональному назначению не могут ограничиться набором заранее 
заложенных программ деятельности. Необходимость выбора адекватного изменяющимся 
условиям внешнего мира поведения робота для выполнения поставленных пользователем 
задач требует наличия интеллектуальных свойств их систем управления (СУ) [1]. 
Поскольку о полноценно самостоятельной деятельности роботов говорить преждевремен- 
но, наиболее актуальными остаются супервизорные СУ, когда человек-пользователь име- 
ет возможность участвовать в принятии решений о целесообразных действиях данного 
робота в данной ситуации. 

Обеспечить комфортные условия участия человека в супервизорном режиме управ- 
ления роботом могут соответствующие реализации интерфейса пользователя. Современ- 
ные информационные технологии позволяют приблизить общение человека и робота к 
естественно воспринимаемому непрофессиональным пользователем уровню, опираясь на 
компьютерные решения таких задач, как распознавание и синтез речевой и визуальной 
информации, использование технологий виртуальной реальности для представления 
пространственной информации о среде функционирования робота. 

В рамках Государственной научно-технической программы Украины «Образный 
компьютер» разрабатывается экспериментальная технология, позволяющая с привлече- 
нием методов искусственного интеллекта и современных вычислительно-коммуника- 
ционных возможностей реализовать информационное и программное обеспечение под- 
вижной кибернетической системы — мобильного робота (МР), способного автономно 
выполнять различные задания, сформулированные удаленным пользователем. Пример 
реализации человеко-машинного взаимодействия и пути повышения его эффективности в 
системах такого класса показаны в данной статье. 
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Структурные решения СУ МР 


Для любой биологической или технической системы с интеллектуальными возмож- 
ностями реальный внешний мир существует в виде некоторой его модели, отображающей 
лишь те его свойства, которые данная система в силу присущих ей возможностей 
способна воспринять и отобразить в структурах внутреннего представления [2], [3]. 
Совокупность физически, методически, алгоритмически, программно либо аппаратно 
реализованных средств восприятия, способов анализа и интерпретации информации от 
внешнего мира конкретной системой определяют потенциальные ее возможности взаимо- 
действия с внешними объектами, включая другие интеллектуальные системы. 

Интеллектуальные свойства СУ МР основываются на использовании в них 
элементов искусственного интеллекта: 

— формирование и распознавание образов по информации от внешнего мира; 
— моделирование внешней среды на основе сенсорной информации; 

— планирование маршрутов перемещения в среде с препятствиями; 

— планирование целенаправленной деятельности МР в целом; 

— представление знаний, вывод новых знаний, механизмы обучения и т.п. 

Для СУ верхнего уровня МР первостепенно важным является наличие эффектив- 
ных структур динамического обновления и хранения модели мира, их программной 
реализации в вычислительной среде робота, распределение зон памяти для совместного 
анализа модельной и реальной информации о текущем состоянии робота и окружающего 
мира. При этом тот набор параметров внешней среды, который способен оценить 
конкретный МР, и определяет необходимый набор параметров для описания в его базе 
знаний (Б3) моделей окружающих объектов. 

Разрабатываемый для практических исследований МР как экспериментальный 
программно-аппаратный комплекс в настоящее время имеет такие базовые модули: 

— подвижная платформа с одним опорным самоориентирующимся и двумя ведущи- 
ми колесами, способная перемещаться в помещениях по горизонтальной поверх- 
ности, оснащенная исполнительным органом («рука» с захватным устройством) и 
имеющая программно-аппаратно реализованные модули управления приводами колес 
платформы и подвижных сочленений исполнительного органа; 

— программно-аппаратный модуль, имеющий различные физические каналы восприятия 
информации о внешней среде в виде сенсорной САМ-сети и программно реализован- 
ные преобразования каждого вида информации в структуры внутреннего ее пред- 
ставления в СУ верхнего уровня; 

— программно реализованная двухмодульная СУ верхнего уровня, обеспечивающая 
целенаправленное поведение МР, с соответствующим программным обеспечением 
(ПО) всех необходимых вычислительно-коммуникационных процессов; 

— ПО интерфейса пользователя, обеспечивающее генерацию естественно воспринимае- 
мых визуальных образов виртуальной реальности и речевых сообщений, отображающих 
текущее состояние МР и доступ к формированию команд и заданий роботу в графи- 
ческом или голосовом режимах, а также к редактору моделей внешнего мира и МР. 

Рассматриваемый экспериментальный образец МР оснащен жестко закреплен- 
ными относительно корпуса подвижной платформы видеокамерой, тремя сенсорами 
безопасности движения и четырьмя сенсорами-дальномерами. Их схематичное распо- 
ложение относительно корпуса МР показано на рис. 1. 

В принятом подходе система верхнего уровня управления МР представляет собой 
два базовых программных модуля — \т4до\з-приложения, разрабатываемые на основе 
объектно- и компонентно-ориентированного программирования в среде Оефы и техно- 
логии многопотоковых вычислительных процессов [4], [5]. Один из модулей СУ отвечает 
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за взаимодействие физических компонентов МР с реальным внешним миром и процессы 
управления ими. Второй — за адекватное реальному функционирование модели МР в 
виртуальном мире. Совместный анализ всей доступной информации — модельной и 
реальной — дает возможность своевременно корректировать внутреннее представление 
МР о внешнем мире и принимать решения о целесообразных действиях системы в целом. 
Общая схема распределения и взаимосвязи модулей СУ показана на рис. 2. 


1 — зона восприятия 
сенсора безопасности движения 


Зона визуального 
восприятия 


Корпус подвижной 
платформы 


2 — зона восприятия 
сенсора-дальномера 


Рисунок 1 — Геометрическая модель МР и зон восприятия внешнего мира (вид сверху) 
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Рисунок 2 — Состав вычислительно-коммуникационной среды и программного 
обеспечения СУ МР 


За ведение внутренних представлений мира и правил поведения в нем отвечает база 
знаний (БЗ), основные составляющие которой — динамически обновляемые З)-модели 
внешнего мира; математические модели функциональных модулей робота, отвечающие 
за синхронные с реальными модельные процессы; иерархически организованная трех- 
уровневая библиотека правил поведения (БПП) робота во внешнем мире [4]. 
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Основу модельного представления внешнего мира в СУ МР составили матема- 
тическое описание твердотельных объектов в виде совокупностей выпуклых многогран- 
ников и программная реализация структур их хранения и формирования изображений 
пространственных сцен. Геометрические ЗО-модели подвижной платформы МР, зон 
визуальной и сенсорной чувствительности вместе с кинематической моделью движения 
позволяют динамически формировать модели восприятия внешнего мира данным МР. 
Программные реализации алгоритмов распознавания нескольких типов объектов по 
визуальной информации, анализа составляющих доминирующих цветов поверхности 
объектов, формирования пространственных моделей объектов по сенсорной информации, 
включенные в СУ в виде самостоятельных компонентов, позволили расширить возмож- 
ности пространственного восприятии реального робота и его отображения в модели мира. 

БШ МР содержит алгоритмы интерпретации различной информации и управления 
отдельными программными и аппаратными компонентами робота, а также его деятель- 
ностью в целом, формируя иерархию взаимосвязей условных и ситуативных реакций и 
целевых поведений всех модулей МР. Чем разнообразнее набор таких алгоритмов и гибче 
организованы механизмы выбора адекватных ситуации реакций СУ, тем шире автоном- 
ные возможности робота. Использование структур БП приводит СУ МР к гибридному 
типу, сочетающему программное, реактивное и ситуативное управление. 

Для эффективного человеко-машинного взаимодействия помимо удобных для чело- 
века каналов информационного обмена важно наличие некоторого структурного сходства 
внутреннего представления восприятия внешнего мира человеком и СУ технической 
системы. 


Интеграция компонентов интерфейса 
пользователя и СУ МР 


БЗ робота фактически содержит некоторые абстракции, которыми оперирует 
СУ верхнего уровня при анализе текущего состояния МР, используя модели 
внешнего и внутреннего мира и правил поведения робота в нем. Приближение таких 
абстракций к понятиям и образам, которыми мог бы оперировать человек при 
самостоятельном выполнении назначаемых роботу заданий, может существенно 
повысить комфортность супервизорной СУ. 

Визуальное восприятие пространственных сцен для человека наиболее естественно 
и информативно. С появлением общедоступных (практически на базе операционных сис- 
тем персональных компьютеров) технологий визуализации пространственных сцен, их 
широко стали использовать в робототехническом ПО. Как правило, компьютерная гене- 
рация необходимых ракурсов таких сцен с успехом применяется в программных пакетах 
моделирования МР [6] и реже — непосредственно в процессах управления ими [7]. 

Помимо визуального мировосприятия для человека важен звуковой канал с особой 
ролью речи. Расширение БЗ геометрических моделей внешнего мира робота и выполняе- 
мых им, согласно БИТ, действий звуковыми и вербальными индикаторами, выраженными 
в языке, обеспечивает СУ словарем звуковых сигналов и имен объектов, их восприни- 
маемых свойств и пространственных отношений, связей, событий и действий. Такое 
расширение Б3З как совокупности всех видов информации, способствующих управлению 
целенаправленной деятельностью технической системы [8], подготавливает почву для 
разработки и интеграции в СУ МР семантической модели мира, что приведет к 
углублению роли речевых технологий в человеко-машинном интерфейсе и переходу от 
чисто командно-пусковой функции к анализу смыслового содержания речи. 
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В описываемой разработке гибридное управление МР, основанное на БПП, можно 
сравнить с уровнем рефлексов и инстинктов у биологических систем, когда еще нет 
оснований говорить о мышлении и языке. Но и на этом уровне присутствует логика отно- 
шений «что», «где», «какой» и соответствующих действий, поэтому уместно введение 
словаря имен объектов, их свойств, названий действий, обозначения направлений и т.п., 
что позволяет формировать несложные текстовые фразы о восприятии внешнего мира и 
состоянии МР, выполняемых им действиях. 

Использование одних и тех же внутренних структур представления модели внеш- 
ней среды как самой СУ робота в процессах принятия решений, так и в динамической 
генерации компьютерных изображений пространственных сцен рабочей обстановки ро- 
бота и синтезе соответствующих звуковых и речевых сообщений в интерфейсе пользо- 
вателя, не только снижает нагрузку на вычислительные ресурсы, обеспечивающие 
функционирование робота, но и упрощает взаимодействие человека и технической сис- 
темы, создавая некоторое подмножество единых образов и вербальных представлений о 
среде функционирования робота и его состоянии (рис. 3). 


Внешний мир 


Отображение Отображение 
внешнего мира внешнего мира 


Пространственное восприятие, 
визуальные образы, словарь 


Пространственное восприятие, 
визуальные образы, словарь 


Подмножество 
взаимодействия 


Рисунок 3 — Схема взаимодействия двух интеллектуальных систем 


Пример реализации интерфейса пользователя 


Разработанное ПО среды моделирования и управления МР имеет многофункцио- 
нальное назначение и может быть использовано в двух режимах: автономное моделирова- 
ние и супервизорное управление реальным роботом. 

В первом случае пользователь имеет доступ к моделированию и управлению МР 
только в ЗО-виртуальной среде, что позволяет на уровне компьютерных моделей освоить 
интерфейс пользователя, изучить суть доступных заданий из БИП, соответствующие 
целевые состояния МР и необходимые для их однозначного определения параметры, 
последовательность их формулирования средствами графического или голосового 
интерфейса, понять, в каких промежуточных ситуациях может оказаться робот, какое 
вмешательство оператора-супервизора понадобится для оптимального штатного функ- 
ционирования робота, какие голосовые сообщения может генерировать СУ МР, каким 
словарем располагает БЗ и т.п. Кроме того, в автономном режиме доступен редак- 
тор/конструктор З)-моделей и словаря, редактор параметров моделей всех функциональ- 
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ных модулей МР. Для разработчика СУ интерфейс позволяет в модельном режиме 
проверять эффективность используемых математических моделей и алгоритмов управле- 
ния целенаправленными действиями МР, в том числе алгоритмов распознавания образов 
(визуальных, голосовых, сенсорных). 

В супервизорном режиме управления удаленным роботом пространственные 
модели МР и окружающей его среды в интерфейсе пользователя помогают получить 
представление о взаимном расположении робота и объектов внешнего мира, причем 
как в ходе выполнения данных ему заданий, так и на стадиях их формулирования. 
При отсутствии иных каналов наблюдения за средой функционирования удаленного 
МР это существенно снижает нагрузку на пользователя при управлении роботом. В глав- 
ном окне интерфейса пользователя использованы два ракурса З)-моделей внешнего 
мира робота: управляемый пользователем произвольный ракурс и программно пред- 
определенный вид сверху (рис. 4). 


Произвольный ракурс 3О-модели Модельная и реальная 
внешнего мира и МР в нем информация о положении МР 
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Рисунок 4 — Общий вид главного окна графического интерфейса оператора-супервизора 


В супервизорном режиме управления происходит мониторинг и сравнительная 
оценка информационных потоков реальных и модельных данных о воспринимаемом 
роботом внешнем мире и его положении в нем. Пользователю доступна вся эта сово- 
купность информации. 

Оператор-супервизор имеет доступ к библиотеке типовых заданий для автономного 
функционирования МР, общаясь с удаленным реальным роботом на уровне естественно 
воспринимаемых образов высокой степени абстракции — виртуальных пространственных 
сцен и естественно-языковых команд и сообщений. Частично функции супервизора 
автоматизированы, и нештатное рассогласование модельной и реальной информации 
отслеживается реализованными в СУ алгоритмами анализа текущих состояний МР с 
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активизацией при необходимости соответствующих правил из БПП. Например, превыше- 
ние накопленной ошибки одометрии, опирающейся на модельную оценку пройденного 
пути, порождает автоматическое прерывание текущей деятельности робота и активиза- 
цию задания «Уточни свое положение» по специализированным визуальным ориентирам, 
а рассогласование модельных и реальных показаний сенсоров-дальномеров активизирует 
задание «Исследуй объекты», которое обеспечит соответствующую коррекцию модели 
мира. 

Принятые структуры ПО СУ позволяют без изменений программного кода попол- 
нять БИП алгоритмами всех трех уровней иерархии. Разработанные для персонального 
МР, функционирующего в помещениях, задания могут быть легко сформулированы 
пользователем средствами графического интерфейса либо голосового управления для 
дальнейшего автономного выполнения их роботом. Например, доступны такие задания: 

«Перейди» — движение из текущего положения в заданное с обходом препят- 
ствий и, при необходимости, построением их пространственных моделей по сенсор- 
ному восприятию; 

«Возьми объект» — движение к указанному объекту, положение которого уже 
известно в модели мира, и взятие его захватным устройством; 

«Изучи объект» — движение вокруг объекта с построением его пространст- 
венной модели по сенсорному восприятию и сбором визуальной информации о нем; 

«Осмотрись и распознай» — разворот в указанном направлении на заданный 
угол с анализом визуальной информации, докладом о распознанных объектах и кор- 
рекцией модели внешнего мира; 

«Определи свое положение» — определение положения для первичной локали- 
зации либо уточнения положения подвижного модуля по текущей визуальной инфор- 
мации о специализированных объектах-ориентирах и БЗ о модели внешнего мира и т.п. 

Определенным образом собранные последовательности базовых заданий из 
БИШ позволяют конструировать новые виды автономной деятельности МР. Например, 
составное задание «Рассортируй объекты» обеспечивает длительную автономную работу 
МР, связанную с поиском в помещении указанных по имени объектов — участников 
сортировки, и их переносом в заданные положения. 

При выполнении всех заданий необходимые передвижения подвижного модуля 
осуществляются с обходом препятствий. Выполнение всех заданий сопровождается 
динамической генерацией пространственных моделей среды функционирования под- 
вижного модуля и его положения в нем, соответствующей коррекцией моделей внешнего 
мира и речевым докладом о стадиях выполнения заданий и состояниях подвижного 
модуля. 


Выводы 


Поиск путей повышения эффективности и комфортности общения человека и 
технической системы объединяет усилия исследователей различных научных направ- 
лений — нейрофизиологов, психологов, кибернетиков и др. 

Экспериментальные образцы таких сложных технических систем, как МР, 
расширяют возможности исследователей в поисках наиболее эффективных структур 
СУ, реализующих в том или ином виде искусственный интеллект. Проверка теорети- 
ческих подходов на практике позволяет глубже понять реальную сложность созда- 
ния технических аналогов действительно интеллектуальных управляющих систем, 
какими обладают биологические системы. 
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Интеграция компонентов интерфейса пользователя и системы управления... 6 С 


Современные информационные, коммуникационные и компьютерные техноло- 
гии позволили разработать экспериментальный комплекс, объединяющий МР и прог- 
раммную среду моделирования и управления роботом. 

Интеграция компонентов интерфейса пользователя и СУ МР дала возможность 
частично автоматизировать функции супервизора по контролю рассогласования реально- 
го состояния МР и модельного представления внешнего мира и повысить эффективность 
комбинации автономных возможностей СУ МР и необходимых фаз участия человека- 
супервизора в формировании целевых установок роботу и отслеживании хода выполне- 
ния им соответствующих заданий, своевременно предоставляя ему информацию о теку- 
щем состоянии робота на уровне естественно воспринимаемых визуальных образов 
пространственных сцен и речевых сообщений. 
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О.М. Сухоручюна 

Гнтегращя компонентв 1нтерфейсу користувача та системи управлння персонального мобльного 
робота: приклад реалзацй 

Розглянут! шляхи шдвищення ефективност! людино-машинно1 взаемодй при 1нтеграцй структурних 
компонентив 1нтелектуально! системи управлння мо@льного робота та 1нтерфейсу користувача. Наведено 
приклад реаллзацй комплексного програмного забезпечення системи управл!ння робота, здатного 
автономно виконувати сформульован! користувачем завдання. 
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